test

5.5 基准测试的潜在风险

有时,开发者往往过于注重某项基准测试结果,因而以偏概全,无法根据基准测试的完整结果得出正确的结论。

目前,可供选择的工业级基准测试工具很多,用户群广泛,从硬件厂商到学术研究者,这些因素都间接的提升了运行时环境和应用程序的执行性能。在得到基准测试的结果后,不要急着下结论,一定要仔细分析。

当然,如果某个主流的基准测试套件使用过于广泛的话,那么就要小心了。典型的例子就是SPECjvm基准测试套件和后来出现的SPECjbb基准测试套件。

译者注:

上面这句话是猜测的,原文是"One danger is, of course, if a mainstream benchmark gets too well adopted. Classic examples here are the SPECjvm benchmark suite and later the SPECjbb benchmark."。

如果学生可以在电脑上用简单的命令来运行基准测试的话,那肯定有助于基准测试的推广;但如果运行很麻烦的话,就不太妙了。SPECjbb就可以通过简单的命令来运行,而SPECjAppServer就不能这么干。SPECjAppServer本身是非常出色的基准测试套件,几乎可对应用程序的每个部分进行测试,从应用程序服务器到物理网卡,无所不包,但运行SPECjAppServer需要很多硬件支持,而且安装配置也挺复杂,结果就是在学术领域几乎没人用SPECjAppServer套件,而是普遍使用SPECjbb套件,尽管这样的基准测试结果可能不太全面。